कृत्रिम बुद्धिमत्ता के क्षेत्र में, बड़े भाषा मॉडल में भ्रम की समस्या उद्योग के लिए एक महत्वपूर्ण चुनौती रही है। हाल ही में, HHEM-2.1-Open मूल्यांकन प्रणाली पर आधारित एक परीक्षण के परिणामों ने दिखाया कि झीप AI के GLM-4-9B मॉडल ने एक आश्चर्यजनक रिपोर्ट प्रस्तुत की। परीक्षण डेटा से पता चलता है कि 85 बड़े भाषा मॉडल में से, GLM-4-9B ने 98.7% तथ्य की सुसंगतता दर और 100% उत्तर दर के साथ जीत हासिल की। विशेष रूप से ध्यान देने योग्य है कि इस मॉडल का भ्रम दर केवल 1.3% है, यह उपलब्धि न

शांघाई कृत्रिम बुद्धिमत्ता प्रयोगशाला सीनान OpenCompass टीम और मोडॉ मॉडलस्कोप के संयुक्त प्रयास से विकसित किए गए बड़े मॉडल परीक्षण मंच CompassArena (बड़े मॉडल प्रतियोगिता क्षेत्र) ने हाल ही में एक नया उन्नयन प्राप्त किया है, जिसका उद्देश्य उपयोगकर्ताओं को अधिक वैज्ञानिक और व्यापक मॉडल मूल्यांकन अनुभव प्रदान करना है। लॉन्च के बाद से, इस मंच ने समुदाय के कई उपयोगकर्ताओं को भाग लेने और डेटा योगदान करने के लिए आकर्षित किया है, और इन डेटा के आधार पर, CompassArena लगातार अनुकूलित हो रहा है। इस उन्नयन में नई Judge Copilot सुविधा और सूची एल्गोरिदम में सुधार शामिल है।

एंटी ग्रुप ने पेकिंग विश्वविद्यालय के साथ मिलकर DevOps क्षेत्र के लिए बड़े भाषा मॉडल परीक्षण मानक जारी किया। यह मानक योजना, कोडिंग, निर्माण, परीक्षण, और वितरण सहित 8 श्रेणियों के वस्तुनिष्ठ प्रश्नों में कुल 4850 प्रश्नों के साथ आता है। मानक ने AIOps कार्यों के लिए भी विशिष्ट परीक्षण किया। परिणाम दर्शाता है कि विभिन्न मॉडलों के स्कोर में अधिक भिन्नता नहीं है।

SuperCLUE ने चीनी बड़े मॉडल का अगस्त सूची जारी किया, जिसमें 5 रैंकिंग परीक्षणों में 16 सामान्य बड़े भाषा मॉडलों का चयन किया गया, और 3337 नए परीक्षण प्रश्नों का उपयोग किया गया। देश के बड़े मॉडल के चीनी कार्यों पर प्रदर्शन और GPT3.5 के बीच का अंतर सिमटा है।